#escala de logits

¿Qué controla realmente la norma de pesos en Grokking?

Descubre cómo la escala de logits, y no la norma de pesos, determina el retraso en Grokking. Un estudio revela que el 97% del efecto depende de la saturación